Machine learning Interview

🧠 ShapeLLM-Omni — первая LLM, которая понимает форму, текст и 3D

ShapeLLM-Omni — это мультимодальная модель от JAMESYJL, способная обрабатывать не только текст и изображения, но и 3D-объекты, точки, сетки, CAD, и даже тактильные карты. Она объединяет визуальное, пространственное и языковое представление.

🚀 Что умеет:

• 🔤 Понимает текстовые запросы
• 📦 Анализирует 3D-модели, включая point clouds и mesh
• ✋ Поддерживает тактильные данные (touch maps)
• 🧰 Универсальный encoder для всех типов данных
• 🤖 Основана на сильной Vision+LLM архитектуре
• 🧩 Поддерживает задачи: классификация, QA, описание 3D-сцен

🧪 Пример использования:
Модель может ответить на вопрос:
"Какой это инструмент?" — анализируя 3D-модель объекта.

📦 Форматы входа:
• Point cloud
• Mesh (.obj)
• Voxel
• Text prompt
• Touch (tactile image)

🔬 Для чего подходит:

• Робототехника
• AR/VR
• 3D-дизайн и CAD
• Мультимодальные агенты
• Образование и техподдержка по 3D-объектам

🔗 GitHub: github.com/JAMESYJL/ShapeLLM-Omni

💡 ShapeLLM-Omni — это новый шаг к универсальным LLM, которые понимают форму, а не только текст и пиксели.

@machinelearning_interview

www.tg-me.com/ca/Machine learning Interview/com.machinelearning_interview/1839

3.0K viewsJun 8 at 09:03

🧠 ShapeLLM-Omni — первая LLM, которая понимает форму, текст и 3D

ShapeLLM-Omni — это мультимодальная модель от JAMESYJL, способная обрабатывать не только текст и изображения, но и 3D-объекты, точки, сетки, CAD, и даже тактильные карты. Она объединяет визуальное, пространственное и языковое представление.

🚀 Что умеет:

• 🔤 Понимает текстовые запросы
• 📦 Анализирует 3D-модели, включая point clouds и mesh
• ✋ Поддерживает тактильные данные (touch maps)
• 🧰 Универсальный encoder для всех типов данных
• 🤖 Основана на сильной Vision+LLM архитектуре
• 🧩 Поддерживает задачи: классификация, QA, описание 3D-сцен

🧪 Пример использования:
Модель может ответить на вопрос:
"Какой это инструмент?" — анализируя 3D-модель объекта.

📦 Форматы входа:
• Point cloud
• Mesh (.obj)
• Voxel
• Text prompt
• Touch (tactile image)

🔬 Для чего подходит:

• Робототехника
• AR/VR
• 3D-дизайн и CAD
• Мультимодальные агенты
• Образование и техподдержка по 3D-объектам

🔗 GitHub: github.com/JAMESYJL/ShapeLLM-Omni

💡 ShapeLLM-Omni — это новый шаг к универсальным LLM, которые понимают форму, а не только текст и пиксели.

@machinelearning_interview

BY Machine learning Interview